DeepSeek刚提到FP8，英伟达就把FP4精度推向预训练，更快、更便宜
FP8，其全称为 8-bit floating point（8 位浮点数），是一种超低精度的数据表示格式，相较于 FP32（单精度）或 FP16（半精度）等传统浮点格式，FP8 可以在尽量保持数值稳定性和模型精度的前提下，进一步降低存储和计算开销（参见机器之心
fp4
DeepSeek刚押注FP8，英伟达就把FP4精度推向预训练，更快、更便宜
FP8，其全称为 8-bit floating point（8 位浮点数），是一种超低精度的数据表示格式，相较于 FP32（单精度）或 FP16（半精度）等传统浮点格式，FP8 可以在尽量保持数值稳定性和模型精度的前提下，进一步降低存储和计算开销。
比国外竞品计算性能快5倍，清华团队提出微缩版FP4注意力机制
近日，清华大学团队打造了首个用于推理加速的微缩版 FP4 注意力机制——SageAttention3，在英伟达 RTX5090 上实现了 1038TOPS 的计算性能。相比此前在英伟达 RTX5090 上计算性能最快的、由美国斯坦福大学提出的 FlashAtt
清华团队提出微缩版FP4注意力机制，以即插即用方式加速推理
近日，清华大学团队打造了首个用于推理加速的微缩版 FP4 注意力机制——SageAttention3，在英伟达 RTX5090 上实现了 1038TOPS 的计算性能。相比此前在英伟达 RTX5090 上计算性能最快的、由美国斯坦福大学提出的 FlashAtt
不支持FP4智算中心没上线，就淘汰？
不要再怀疑低精度混训。老美建设的英伟达GB200和300以及AMD MI355X ，都引入了FP6和FP4浮点数据类型，能够在保持计算精度的同时，进一步提升AI训练和推理性能
大模型训练开销还能更小！微软推出FP4训练框架，效果与BF16相当
研究开展时，尚未有原生支持FP4的硬件，故作者通过在FP8的TensorCore上模拟实现）